어텐션 (기계 학습)

3. 개념

어텐션은 "입력 벡터 열의 쿼리 의존적 동적 가중 합"에 해당하는 연산이다. 어텐션 메커니즘은 입력 시퀀스의 각 요소에 대한 가중치를 동적으로 계산하여, 출력 시퀀스를 생성할 때 각 요소의 중요도를 반영한다.

어텐션에서는 각 입력 벡터 $\backslash boldsymbol\{x\}\_k$의 가중 합을 $i$번째 출력 벡터 $\backslash boldsymbol\{y\}\_i$로 한다. 이때, 가중치는 단순한 고정값이 아니라 동적으로 계산된다 ('''소프트 웨이트'''). 동적 계산은 $i$번째 출력에 연결된 정보를 표현한 관련 벡터 $\backslash boldsymbol\{c\}\_i$와 입력된 입력 벡터 자체에 기반한다. 정보의 흐름을 표현하는 개념식은 다음과 같다.

:$\backslash boldsymbol\{y\_i\}$

= \sum_k w_{ik} \boldsymbol{x}_k

= \sum_k f(\boldsymbol{c}_i, \boldsymbol{x}_k) \boldsymbol{x}_k

이 식이 나타내는 것처럼, 어텐션에서는 각 출력에 대해 관련 벡터와 입력 벡터로부터 가중치를 구하고, 그 가중치에 기반하여 전체 입력을 받아들인다. 이를 통해 입력 열 전체를 각 출력 벡터에 직접 받아들이면서, 가중치의 동적 계산을 통해 임의 길이의 벡터 열을 처리할 수 있다. 즉, "임의 길이의 열을 열로 변환할 때, 각 위치의 입력을 직접 받아들이는 모듈"로 기능한다.

이 어텐션은 다른 관점에서 다시 볼 수 있다^[62]。 어텐션에서는 입력 $\backslash boldsymbol\{x\}\_k$를 기반으로, 더해지는 값 $\backslash boldsymbol\{v\}\_k$ ('''밸류''')와 이를 요약한 식별자 $\backslash boldsymbol\{k\}\_k$ ('''키''')를 준비한다. 또한 각 출력에 연결된 관련 정보를 기반으로 쿼리 벡터 $\backslash boldsymbol\{q\}\_k$ ('''쿼리''')를 준비하고, 쿼리와 키의 일치도에 따라 밸류의 가중치 = 받아들이는 양을 결정한다고 볼 수 있다^[63]。 즉, 다음 개념식에 해당한다^[62]：

:$\backslash boldsymbol\{y\_i\}$

= Attention(\boldsymbol{q}_i, K, V)

= \sum_k g(\boldsymbol{q}_i, \boldsymbol{k}_k) \boldsymbol{v}_k

= \sum_k f(\boldsymbol{c}_i, \boldsymbol{x}_k) h(\boldsymbol{x}_k)

첫 번째 개념식과 거의 유사한 형태이지만, 입력을 밸류로 변환한 다음 합을 취할 수 있는 유연성이 추가되었다. 각 입력 요소에 대한 가중치는 쿼리(query), 키(key), 값(value) 벡터 간의 상호작용을 통해 계산된다.

이 개념을 실제로 기능하는 연산으로 만들기 위해, 다음과 같은 구체화를 수행한다. 먼저, $w\_\{ik\}$의 크기에 제한이 없으면 무한 길이의 입력 열에 대해 출력 벡터가 발산해 버리므로, 소프트 웨이트는 비음수이며 출력 벡터마다 총합이 1 ($\backslash sum\_k\; w\_\{ik\}\; =\; 1$)의 제약이 부과된다. 이 제약 내에서 쿼리와 키의 일치도를 측정하는 함수 (쿼리・키 메커니즘, query-key mechanism^영어)를 구체적으로 정의하지만, 여기에는 다양한 변형이 존재한다. 내적 $\backslash boldsymbol\{q\}\_i\; \backslash cdot\; \backslash boldsymbol\{k\}\_k$에 소프트맥스 함수를 적용한 형태가 대표적인 예이다^[64]。

3. 1. 쿼리-키-값 모델 (Query-Key-Value Model)

" 입력을 부분적으로 처리하여 중간 벡터 $h^d\_0$(디코더의 0번째 은닉 벡터)를 얻는다. 이 중간 벡터는 선형 맵 $W^Q$에 의해 쿼리 벡터 $q\_0\; =\; h\_0^d\; W^Q$로 변환된다. 인코더가 출력한 은닉 벡터는 다른 선형 맵 $W^K$에 의해 키 벡터 $k\_0\; =\; h\_0\; W^K,\; k\_1\; =\; h\_1\; W^K,\; \backslash dots$로 변환된다.

쿼리와 키는 내적을 취하여 비교한다: $q\_0\; k\_0^T,\; q\_0\; k\_1^T,\; \backslash dots$. 이 내적 값들에 소프트맥스 함수를 적용하여 어텐션 가중치를 얻는다: $$(w\_\{00\},\; w\_\{01\},\; \backslash dots)\; =\; \backslash mathrm\{softmax\}(q\_0\; k\_0^T,\; q\_0\; k\_1^T,\; \backslash dots)$$.

이 가중치를 사용하여 컨텍스트 벡터를 계산한다: $$c\_0\; =\; w\_\{00\}\; v\_0\; +\; w\_\{01\}\; v\_1\; +\; \backslash cdots$$

여기서 $v\_0\; =\; h\_0\; W^V,\; v\_1\; =\; h\_1\; W^V\; ,\; \backslash dots$는 값 벡터이며, 모델이 값을 표현하는 가장 좋은 방법을 찾을 수 있도록 다른 행렬에 의해 선형 변환된다.

이것이 내적 어텐션 메커니즘이다. 이 섹션에서 설명된 특정 버전은 "디코더 교차 어텐션"인데, 출력 컨텍스트 벡터는 디코더에 의해 사용되고, 입력 키와 값은 인코더에서 가져오지만 쿼리는 디코더에서 가져오므로 "교차 어텐션"이다.

더 간결하게 다음과 같이 쓸 수 있다.

$$c\_0\; =\; \backslash mathrm\{Attention\}(h\_0^d\; W^Q,\; HW^K,\; H\; W^V)\; =\; \backslash mathrm\{softmax\}((h\_0^d\; W^Q)\; \backslash ;\; (H\; W^K)^T)\; (H\; W^V)$$

어텐션은 "입력 벡터 열의 쿼리 의존적 동적 가중 합"에 해당하는 연산이다. 각 입력 벡터 $\backslash boldsymbol\{x\}\_k$의 가중 합을 $i$번째 출력 벡터 $\backslash boldsymbol\{y\}\_i$로 한다. 이때 가중치는 단순한 고정값이 아니라 동적으로 계산된다 (소프트 웨이트).

어텐션에서는 입력 $\backslash boldsymbol\{x\}\_k$를 기반으로, 더해지는 값 $\backslash boldsymbol\{v\}\_k$ (밸류)와 이를 요약한 식별자 $\backslash boldsymbol\{k\}\_k$ (키)를 준비한다. 또한 각 출력에 연결된 관련 정보를 기반으로 쿼리 벡터 $\backslash boldsymbol\{q\}\_k$ (쿼리)를 준비하고, 쿼리와 키의 일치도에 따라 밸류의 가중치 = 받아들이는 양을 결정한다.^[63]

소프트 웨이트는 비음수이며 출력 벡터마다 총합이 1 ($\backslash sum\_k\; w\_\{ik\}\; =\; 1$)의 제약이 부과된다. 쿼리와 키의 일치도를 측정하는 함수는 쿼리・키 메커니즘(query-key mechanism^영어)이라고 부르며, 내적 $\backslash boldsymbol\{q\}\_i\; \backslash cdot\; \backslash boldsymbol\{k\}\_k$에 소프트맥스 함수를 적용한 형태가 대표적인 예이다.^[64]

4. 언어 번역에서의 어텐션

행렬로 보면 어텐션 가중치는 네트워크가 문맥에 따라 어떻게 어텐션을 조정하는지 보여준다.

이러한 어텐션 가중치의 생각은 신경망이 비판받는 '설명 가능성' 문제를 해결한다. 단어의 순서와 관계없이 일괄 번역(verbatim translation)을 수행하는 네트워크는 이러한 관점에서 분석 가능하다면 대각 지배 행렬을 갖게 된다. 반면 비대각 지배적인 경우, 어텐션 메커니즘이 더 미묘하다는 것을 보여준다. 디코더를 처음 통과했을 때 94%의 어텐션 가중치가 첫 번째 영어 단어 "I"에 걸려 있으므로 네트워크는 "je"라는 단어를 제시한다. 디코더의 두 번째 통과에서는 세 번째 영어 단어 "you"에 88%의 어텐션 가중치가 걸려 있으므로 "t'"를 제시한다. 마지막 통과에서는 두 번째 영어 단어 "love"에 95%의 어텐션 가중치가 걸려 있으므로 "aime"를 제시한다.

4. 1. 인코더-디코더 모델 (Encoder-Decoder Model)

5. 어텐션의 변형

어텐션 메커니즘은 다양한 변형이 존재한다.

• 고속 가중치 프로그래머 또는 고속 가중치 컨트롤러(1992).^[31] "느린" 신경망은 다른 신경망의 "고속" 가중치를 외적을 통해 출력한다. 느린 네트워크는 기울기 하강을 통해 학습한다. 이후 "선형 셀프 어텐션"으로 이름이 변경되었다.^[32]
• Bahdanau attention^영어.^[41] ''가산 어텐션''이라고도 함.
• Luong attention^영어.^[36] ''곱셈 어텐션''이라고 알려져 있음.
• 2016년에 ''분해 가능한 어텐션''으로 소개되었고 1년 후 트랜스포머에서 성공적으로 사용된 고도로 병렬화 가능한 ''셀프 어텐션''.
• ''위치 어텐션'' 및 ''인자화된 위치 어텐션''.^[47]

1. 인코더-디코더 내적	2. 인코더-디코더 QKV	3. 인코더 전용 내적	4. 인코더 전용 QKV	5. 파이토치 튜토리얼

=== 가산 어텐션 (Additive Attention) ===

가산 어텐션(additive attention^영어)은 Bahdanau 어텐션이라고도 불린다. 어텐션 가중치는 쿼리와 키 벡터를 연결하고, 학습 가능한 가중치 행렬과 tanh 함수를 사용하여 계산된다.^[41]

=== 곱셈 어텐션 (Multiplicative Attention) ===

곱셈 어텐션(multiplicative attention^영어)은 Luong attention^영어이라고도 불린다. 쿼리와 키 벡터의 내적(dot product) 또는 일반적인 형태의 곱셈 연산을 사용하여 어텐션 가중치를 계산한다.

=== 셀프 어텐션 (Self-Attention) ===

셀프 어텐션(self-attention^영어)은 쿼리, 키, 값 벡터가 모두 동일한 모델에서 나온다는 점을 제외하면 본질적으로 교차 어텐션과 동일하다. 인코더와 디코더 모두 셀프 어텐션을 사용할 수 있지만 미묘한 차이가 있다.

5. 1. 가산 어텐션 (Additive Attention)

5. 2. 곱셈 어텐션 (Multiplicative Attention)

5. 3. 셀프 어텐션 (Self-Attention)

• 가산 어텐션(): 일명 Bahdanau Attention
• 곱셈 어텐션(): 일명 Luong Attention
• 셀프 어텐션()

5. 4. 멀티 헤드 어텐션 (Multi-Head Attention)

• 가산 어텐션(additive attention^영어): Bahdanau Attention이라고도 불린다.
• 곱셈 어텐션(multiplicative attention^영어): Luong Attention이라고도 불린다.
• 셀프 어텐션(self-attention^영어)

5. 5. 마스크된 어텐션 (Masked Attention)

6. 최적화

6. 1. 플래시 어텐션 (Flash Attention)

7. 활용

어텐션을 중심으로 하는 모델로 트랜스포머가 있다. 트랜스포머는 동일한 층 내에 여러 개의 독립적인 가중치 행렬을 갖는다. 트랜스포머는 기계 번역, 텍스트 요약, 질의응답 등 다양한 자연어 처리 작업에서 뛰어난 성능을 보인다.

트랜스포머의 스케일링 내적 어텐션, Perceiver/Perceiver^영어에서는 쿼리・키・값(QKV)을 위한 어텐션이 사용된다.

7. 1. 트랜스포머 (Transformer)

7. 2. Perceiver

8. 한국어 처리에서의 어텐션

9. 수학적 표현

9. 1. 표준 스케일링 내적 어텐션 (Standard Scaled Dot-Product Attention)

9. 2. 바흐다나우 어텐션 (Bahdanau Attention)

9. 3. 루옹 어텐션 (Luong Attention)

참조

_[1] 논문 A review on the attention mechanism of deep learning https://www.scienced[...] 2021-09-10
_[2] 논문 Attention mechanism in neural networks: where it comes and where it goes https://link.springe[...] 2022-08
_[3] 서적 Attention: From Theory to Practice http://www.oxfordsch[...] Oxford University Press 2006-12-28
_[4] 논문 Some Experiments on the Recognition of Speech, with One and with Two Ears http://www.ee.columb[...]
_[5] 서적 Perception and Communication Pergamon Press
_[6] 논문 The role of attention in the programming of saccades https://dx.doi.org/1[...] 1995-07-01
_[7] 논문 Neural network model for selective attention in visual pattern recognition and associative recall https://opg.optica.o[...] 1987-12-01
_[8] arXiv Multiple Object Recognition with Visual Attention 2015-04-23
_[9] 서적 Matters of Intelligence: Conceptual Structures in Cognitive Neuroscience Springer Netherlands 2024-08-06
_[10] 논문 A model of saliency-based visual attention for rapid scene analysis https://ieeexplore.i[...] 1998-11
_[11] 서적 Cybernetic Predicting Devices "{{google books |pla[...] CCM Information Corporation
_[12] 서적 Cybernetics and forecasting techniques "{{google books |pla[...] American Elsevier Pub. Co.
_[13] arXiv Annotated History of Modern AI and Deep Learning 2022
_[14] 논문 Learning, invariance, and generalization in high-order neural networks https://opg.optica.o[...] 1987-12-01
_[15] 논문 Connectionist models and their properties https://www.scienced[...] 1982-07-01
_[16] arXiv HyperNetworks 2016-12-01
_[17] 문서 Christoph von der Malsburg: The correlation theory of brain function. Internal Report 81-2, MPI Biophysical Chemistry, 1981. http://cogprints.org/1380/1/vdM_correlation.pdf See Reprint in Models of Neural Networks II, chapter 2, pages 95-119. Springer, Berlin, 1994.
_[18] 문서 Jerome A. Feldman, "Dynamic connections in neural networks," Biological Cybernetics, vol. 46, no. 1, pp. 27-39, Dec. 1982.
_[19] 논문 Using Fast Weights to Deblur Old Memories https://escholarship[...] 1987
_[20] conference Reducing the ratio between learning complexity and number of time-varying variables in fully recurrent nets Springer 1993
_[21] arXiv Sequence to sequence learning with neural networks
_[22] 웹사이트 Show and Tell: A Neural Image Caption Generator https://www.cv-found[...] 2015
_[23] 논문 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention https://proceedings.[...] PMLR 2015-06-01
_[24] arXiv Neural Machine Translation by Jointly Learning to Align and Translate 2016-05-19
_[25] arXiv Neural Turing Machines 2014-12-10
_[26] arXiv Long Short-Term Memory-Networks for Machine Reading 2016-09-20
_[27] 웹사이트 Flash Attention: Revolutionizing Transformer Efficiency https://www.unite.ai[...] 2024-11-16
_[28] arXiv Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks 2018
_[29] 웹사이트 Pytorch.org seq2seq tutorial https://pytorch.org/[...] 2021-12-02
_[30] 서적 Parallel Distributed Processing, Volume 1: Explorations in the Microstructure of Cognition: Foundations MIT Press 1987-07-29
_[31] 논문 Learning to control fast-weight memories: an alternative to recurrent nets. 1992
_[32] conference Linear Transformers Are Secretly Fast Weight Programmers Springer 2021
_[33] arXiv Understanding Transformers via N-gram Statistics 2024
_[34] 논문 Hybrid computing using a neural network with dynamic external memory https://ora.ox.ac.uk[...] 2016-10-12
_[35] arXiv Massive Exploration of Neural Machine Translation Architectures 2017-03-21
_[36] arXiv Effective Approaches to Attention-Based Neural Machine Translation 2015-09-20
_[37] AV media CS 152 NN—27: Attention: Keys, Queries, & Values https://www.youtube.[...] 2021-12-22
_[38] AV media NYU Deep Learning course, Spring 2020 https://www.youtube.[...] 2021-12-22
_[39] AV media NYU Deep Learning course, Spring 2020 https://www.youtube.[...] 2021-12-22
_[40] 웹사이트 NLP From Scratch: Translation With a Sequence To Sequence Network and Attention https://pytorch.org/[...] 2021-12-22
_[41] arXiv Neural Machine Translation by Jointly Learning to Align and Translate 2014
_[42] arXiv CBAM: Convolutional Block Attention Module 2018-07-18
_[43] arXiv Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution 2022-10-12
_[44] 서적 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition
_[45] 서적 2019 IEEE/CVF International Conference on Computer Vision (ICCV)
_[46] 서적 Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics 2016
_[47] 웹사이트 Learning Positional Attention for Sequential Recommendation https://www.catalyze[...]
_[48] 저널 Trained Transformers Learn Linear Models In-Context https://jmlr.org/pap[...] 2024
_[49] 저널 Mapping of attention mechanisms to a generalized Potts model
_[50] arXiv Simplifying Transformers Blocks
_[51] 웹사이트 Transformer Circuits https://transformer-[...]
_[52] arXiv Learning the Greatest Common Divisor: Explaining Transformer Predictions
_[53] AV media Transformer Neural Network Derived From Scratch https://www.youtube.[...] 2024-04-07
_[54] 문서 for mapping one ... sequence ... to another sequence ... Motivating our use of self-attention
_[55] 문서 Motivating our use of self-attention ... Learning long-range dependencies is a key challenge in many sequence transduction tasks.
_[56] 문서 for mapping one variable-length sequence ... Motivating our use of self-attention
_[57] 문서 three desiderata ... Another is the amount of computation that can be parallelized
_[58] 문서 A neural machine translation system ... translating a source sentence ... to a target sentence
_[59] 문서 to encode a variable-length source sentence ... and to decode the vector into a variable-length target sentence
_[60] 문서 A single convolutional layer ... does not connect all pairs of input and output positions. Doing so requires a stack of ... convolutional layers
_[61] 문서 three desiderata ... The third is the path length between long-range dependencies in the network. ... One key factor affecting the ability to learn such dependencies is the length of the paths forward and backward signals have to traverse in the network.
_[62] 문서 An attention function can be described as mapping a query and a set of key-value pairs to an output
_[63] 문서 An attention function ... The output is computed as a weighted sum of the values, where the weight assigned to each value is computed by a compatibility function of the query with the corresponding key.
_[64] 문서 We compute the dot products of the query with all keys, divide each by √ dk, and apply a softmax function
_[65] 영상 인용 Deep Learning course at NYU, Spring 2020, video lecture Week 6 http://www.youtube.c[...] 2022-03-08
_[66] 저널 인용 Learning to control fast-weight memories: an alternative to recurrent nets. https://archive.org/[...] 1992
_[67] ArXiv 인용 Attention Is All You Need 2017-12-05
_[68] ArXiv 인용 Stand-Alone Self-Attention in Vision Models 2019-06-13
_[69] ArXiv 인용 Perceiver: General Perception with Iterative Attention 2021-06-22
_[70] 웹인용 Google's Supermodel: DeepMind Perceiver is a step on the road to an AI machine that could process anything and everything https://www.zdnet.co[...] 2021-08-19